Reamining chapters:
6) Kernel Smoothing Methods
7) Model Assessment and Selection
8) Model Inference and Avereging
9) Additive Models, Trees and related methods
10) Boosting and Addtive Trees
11) Neural Networks
12) SVM and Flexible Discriminants
13) Prototype Methods and Nearest-Neighbors
14) Unsuprvised Learning
15) Random Forest
16) Ensemble Learning
17) Undirected Graphic Models
18) High-Dimensional Problems
from IPython.display import Image
Image('img/06_knn_vs_kernel_smoothing.png',width=500)
Image('img/06_formula_kernel_smooth.png',width=500)
Pros
Cons
Image('img/06_smooth_dataviz.png',width=500)
model assessment:
come misurare la performance di un modello: con quali metriche e quali sample di dati.
model selection:
come scegliere gli (iper)parametri del modello (ovvero la model complexity)
Argomenti trattati:
Image('img/07_variance bias tradeoff.png',width=700)
Image('img/07_bootstrap_vs_crossvalidation.png',width=500)
Ottimo capitolo riassuntivo di Statistical Inference (Ongaro + Migliorati classes in 20 30 pagine). Nei precedenti capitoli i metodi di stima esposti sono stati:
In questo capitolo invece vengono descritti:
Image('img/08_ML_bootstrap.png',width=500)
Modelli che non hanno una forma/struttura predefinita, ma determinata dai dati.
Modelli trattati:
GAM formula for continuos outcome Y:
Image('img/09_gam_1.png',width=600)
A classic example is:
$Y_t = X_t + S_t + \epsilon$
Image('img/09_decomposition.png',width=400)
CART too, are able to handle not linear (X,Y) relationship.
Image('img/09_xor_example.png',width=300)
Image('img/09_trees_ex.png',width=400)
Boosting:
Iterative Algo. that combines multiple weak learners to produce a powerful "commitee".
Il cap. espone:
Il secondo, è senza ombra di dubbio, il più usato algoritmo e SOTA per problemi di ML con dati tabular.
Main features:
Image("img/10_kaggle_top_algo.jpg",width=500)
Image('img/10_shap.png',width=500)
IMHO: il testo di riferimento per capire Gradient Boosting è:
Image('img/10_explained_gb.png',width=600)
**DEPRECATED CHAPTER**:
La prima pubblicazione di Elements of Statistical Learning risale al 2001! Come vengono modellate le reti neurali assume poco senso, (massimo 3 layer considera nel capitolo, in quanto troppo oneroso computazionalmente considerare reti più "deep").
Il testo di riferimento è: The Deep Learning Book - Yoshua Bengio, Ian Goodfellow
Detto ciò...
NNs sono la migliore famiglia di modelli da utilizzare nel il Machine Learning?
ML: si,ma per Unstructured Data:
- Image + Video
- Text/Sequence Per dati Tabular, Gradient Boosting rimane il SOTA.
NNs sono il SOTA per l'Artificial Intelligence (03/2020) ?
AI: Not yet, ma chi vivrà vedrà ! Connettivisti(LeCun, Benjo,..) o i Simbolisti(Pearl,Marcus,...)?
https://youtu.be/EeqwFjqFvJA
Imagenet Performance Evolution
Image('img/11_image_net_dataset.png',width=500)
Image('img/11_imagenet.png',width=600)
La prima edizione di Elements Of Statistical Learning risale al 2001
Image('img/nlp_ner_evolution.png')
Modelli descritti:
--
Concetti chiave:
Drawback:
Image('img/12_SVM_linear.png',width=500)
Kernel Trick:
Image('img/12_kernel_trick.jpg',width=500)
**DEPRECATED CHAPTER**:
I modelli trattati nel capitolo hanno in comune:
Approcci descritti:
Image('img/13_knn_mnist.png',width=500)
MNIST dataset for number classification is Deep Learning "Hello World" :
MNIST with Keras for beginners - Accuracy = 0.99457
Approcci descritti:
Main Features
Image('img/15_random_forest.png', width=500)